СЕМЬ ИСКУССТВ

Как правило, в любой модели существует так называемый «вектор ошибок» — случайная величина, отражающая уровень несоответствия модели наблюдаемым данным. В минимизации несоответствия, собственно, и заключается моделирование — знаменитый метод наименьших квадратов делает именно эту работу. Но когда к этой случайности добавляются ошибки измерения и в иксах, и в игреке — все резко запутывается. Вполне может оказаться что регрессия отражает не столько «правильные неучтенные остатки», сколько именно ошибки измерения.

Игорь Мандель

ИКСЫ И ИГРЕКИ: ГРИМАСЫ ПОНИМАНИЯ ПРИЧИННОСТИ

Xs and Ys: grimaces of understanding causality (in Russian)

(окончание. Начало в № 10/2023)

4. Научное. От индивидуального к статистическому

Со школьных времен и по сю пору, от степей Казахстана до долин Нью-Джерси иксами (Х) обозначали нечто влияющее, а игреками (У) — нечто от них зависящее. Аргументы и функции; известное и неизвестное; данное и искомое. Фактически, большая часть любой науки посвящена разысканию и обоснованию чего-то, что связывает величины такого типа: сила тока как функция от напряжения и сопротивления в законе Ома; ускорение как функция силы и массы во втором законе Ньютона и т.п. Это в физике; в экономике, социологии, психологии и других «мягких науках» (soft sciences) таких простых уравнений не существует, но зато ученые строят огромное количество уравнений типа регрессионных, в которых те же иксы и игреки связаны между собой «статистически», а не функционально.

Но прежде чем рассматривать такие уравнения, зададимся «простым» вопросом — а можно ли как-то определить причинность на индивидуальном уровне, на уровне отдельного события? В конце концов, все рассмотренные ранее примеры — проигрыш одного очка в теннисе, вопрос о зонировании, о репарациях, о проблемах России, об объяснении снов — все они были о некоем единичном объекте, пусть даже имеющем очень сложную внутреннюю структуру.

Вот еще один очень типичный пример, опять на материале собственной жизни, которую я все — же лучше понимаю, чем что-либо еще. В конце 2016 года я написал статью [32], вроде бы первую публикацию на русском языке об одном из самых замечательных художников нашего времени. Вопрос — почему я ее это сделал? Вот ключевые события.

1. В 2015 году я со своим другом Юрием Оксенойтом были в Израиле. В один из дней мы гуляли порознь, он пошел в Яд Ваашем и вечером подарил мне небольшой альбом с работами Самуила Бака, который он там купил, поразившись силой и необычностью его образов. Я сразу разделил Юрино восхищение.
2. Вернувшись в США, я понял, что Бак выставляется в Pucker gallery, в Бостоне, хозяином которой является Bernie Pucker (Берни); увидел на сайте галереи множество работ.
3. Примерно через полгода, играя, как обычно, в настольный теннис, я случайно узнал, что один из моих старых партнеров, Barry Schwartz (Бари), работает руководителем JPS, старейшего в Америке издательства еврейской, в основном религиозной, литературы.
4. Беседуя как-то с ним, я спросил, не знаком ли он с таким художником Баком, на что Бари ответил, что знает его, но хуже чем Берни, поскольку тот входит в Совет Директоров его издательства. Пораженный таким совпадением, я попросил Бари спросить у Берни, могу ли я написать Баку письмо.
5. Бари быстро получил от Берни положительный ответ и адрес Бака. Я написал Баку письмо с просьбой о встрече.
6. Тот ответил что согласен увидеться, поскольку с «русскими» ему встречаться еще не приходилось (хотя в его возрасте, как он заметил, особо не ищут новых знакомств)
7. Я начал писать статью; через некоторое время поехал с друзьями в Бостон; мы имели чудесную встречу с Сэмом и его женой Жесси, после чего я смог закончить статью и включить в нее выдержки из разговора с Сэмом и фотографии.

Все описанное представляет собой типичнейшую картину восстановления «причин единичного события». Подобными описаниями наполнены тысячи страниц биографий великих людей и исторических томов. Очень часто можно слушать восклицания типа «тогда-то произошло великое событие — если бы не оно, то история бы изменилась…», где подразумевается, что если из подобной цепи событий выкинуть звено — вся цепь порвется и конечное событие не произойдет (контрфактическя, counterfactual, логика, о которой ниже) — например, не играй я с Бари в теннис, никакой статьи бы не было. Несколько комментариев по этому поводу.

а) Каждое событие среди перечисленных есть взаимодействие двух или более людей, то есть «пинг-понг», со всеми вытекающими последствиями и трудностями анализа, очерченными в разделе 1.

б) Выемка из цепи любого события привело бы к изменению цепи, но отнюдь не означало бы отсутствия результата. Допустим, не играй я с Бари — я мог бы и сам написать Берни; откажись Бак от встречи — я бы мог написать статью и без такого конца и так далее (один из аргументов против контрфактической теории причинности).

в) Вся цепь событий смотрится фундаментально неполной. В ней нет таких принципиальных вещей, как: мой интерес к живописи в целом; моя склонность писать статьи о некоторых художниках (уже было несколько опубликованных); моя общительность, позволившая наладить контакты с несколькими людьми; общительность Сэма и т.д. Обычно такие вещи включают в «условия», в отличие от «причин», но на самом деле разделить подобные веще крайне сложно.

г) Можно в принципе посчитать вероятность эффекта, рассчитав вероятности событий в каждом звене цепи. Но это поистине геркулесова задача. Как определить «поле событий» в каждом случае? Что на что делить? Например, в пункте 4. Надо знать вероятность что, зная Бари, я заговорю с ним о Баке. Затем умножить ее на вероятность, что он знает Бака. Затем — на вероятность, что он напишет Берни.

д) И самое, наверно, непонятное — где остановиться? Какой глубины цепь требуется для ответа на вопрос? Все ли семь звеньев, или, может, только 6 и 7? Или, может, куда глубже — почему именно Юра решил подарить мне альбом, зная мой интерес к живописи? На такие вопросы не может быть единых ответов.

Подобные почти непреодолимые трудности в рассмотрении причин индивидуальных событий и побудили в свое время Лофти Заде, прославленного основателя теории размытых множеств, заявить, что он не видит возможности создать внятную теорию причинности. Это мнение, однако, не уменьшило амбиций визионера Перла [1], который остался мнением Заде «unmoved» (был непоколебим — см. дискуссию в [2]).

Как же быть со всеми перечисленными трудностями? Можно ли сформулировать некую теорию, в которой причинные отношения отличаются от других — например, просто ассоциативных или комментирующих — таким образом, что можно ясно сказать: если отношение имеет такие-то свойствa, то оно причинное, а если нет — то нет? В конечном счете, ее решение упирается в определение — что же такое причинность. Теоретически, оно могло бы как-то отсечь некоторые звенья из той цепи, которая описана выше. Но с этим есть большие проблемы.

Я не в состоянии, конечно, здесь разбирать различные теории причинности (см. [1], [3], [18], [19] и др.), но вкратце остановлюсь лишь на определении в [20]. Это интересно, потому что именно Гальперн (Joseph Halpern) сотрудничал с Перлом (Judea Pearl) в формулировке совместного определения, а теория Перла [1], как отмечалось, есть краеугольный камень современного статистического подхода к анализу причинности. Это определение также критически рассматривает позиции других авторов, что повышает его значимость. Детальный разбор определения и сопутствующих материалов в данной статье совершенно не представляется возможным — это несколько страниц математического текста, с обозначениями, предположениями и теоремами. Даже мой краткий разбор в [2] здесь тоже неуместен, так как выглядит слишком техническим. Поэтому задержусь лишь на одном аспекте: оно предполагает как само собой неизбежный факт, защиту теории контрфактической (counterfactual) причинности, и уже по этой причине, в моем понимании, не может быть признано правильным.

Эта теория, восходящая к некоторым цитатам Юма и развитая на философском уровне в 1970-х годах Льюисом [19], предполагает манипулирование неосуществленными, но возможными условиями. Причину того или иного явления можно понять, используя сослагательные конструкции типа «стакан бы не разбился, если бы я его случайно не смахнул рукой со стола«. Такая теория «альтернативной реальности«, давно отвергнутая, например, в истории (но популярная в научной фантастике), нашла очень широкое применение, как ни странно, в основных моделях причинности в статистике. Существует множество аргументов против нее, и в философии, и в самой статистике; я их собрал, наряду с собственными, в [2] и других публикациях. Вот лишь один из них.

Допустим, утверждение про стакан верно (в житейском смысле, безусловно, так люди и говорят, понимают друг друга и даже используют такую логику в суде). Попробуйте теперь обобщить условия разбития стакана, сделать из такого подхода общий случай. Задайте себе, например, такие вопросы.

1. Мог бы стакан разбиться, если бы я его не смахнул? Ответ — конечно, мог бы (другой бы смахнул; стол шатнулся; кошка пробежала и т.д.)
2. Но все эти возможные варианты ведь были бы в другое время, не тогда, когда я его реально смахнул? Ответ — а кто его знает, когда бы оно было.

А теперь попытайтесь установить для такой логики какую-то строгую аксиоматику. В этом и будут все трудности. Льюис оперировал понятием «всех возможных миров«; Гальперн говорит об исчерпывающем наборе эндогенных и экзогенных переменных, предъявляя к ним требование «минимальности» (то есть отсутствия других комбинаций, приводящих к данному событию) — но как эти абстрактные вещи конкретизировать?

Как можно описать то, что могло бы быть, если его реально не было? Существует огромная асимметрия между происшедшим и не происшедшим. Материализуется всегда нечто одно; может материализоваться что угодно (или почти что угодно — тут-то и лежат попытки указать «пределы» этого). «Отсутствие чего-то не являются частью реальной движущей силы в природе. Каждая причинная ситуация развивается так, как это происходит в результате наличия лишь движущих (positive) факторов, и только их» — утверждение Армстронга, которое, мне кажется, идеально описывает ситуацию (см. [2]). Наука тратит гигантские усилия для понимания причин в каждом конкретном случае, и еще не было случая, чтобы открытия делались на основании сослагательного наклонения. Оно может быть полезно для формулировки, например, условий эксперимента или гипотезы, но не для того, чтобы заявлять, что отсутствие чего порождает что-то иное.

В 2021 году Нобелевская премия по экономике была присуждена трем ученым с формулировкой: «за их методологический вклад в анализ причинно-следственных связей» (что само по себе говорит о важности этой темы). Я, конечно, не буду обсуждать здесь в чем именно их вклад заключался, но отмечу, что Гвидо Имбенс, один из лауреатов, был соавтором книги [3], в которой активно использовалась специальная концепция причинного анализа (так называемый метод потенциальных последствий, potential outcomes), в основе которой лежит в высшей форме спорная counterfactual теория, о которой шла речь выше (см. также 5.3). То есть современные теории причинности, даже подкрепленные авторитетом Нобелевской премии, отнюдь не являются убедительными и общепринятыми.

Я сформулирую некоторые нестрогие тезисы о том, как должна пониматься причинность, в разделе 5. А пока рассмотрю некоторые примеры (все изложение здесь и далее — только о наблюдаемых данных, observational data, на которых нет возможности провести эксперимент). Тут уже мы переходим от причин индивидуальных событий, с которыми так много проблем, к причинам множества сходных событий — к статистике, на который основной упор в науке и делается.

Если собрать достаточно большое число сведений об индивидуумах, можно установить, что в целом чем выше уровень образования (Х1) — тем выше и уровень дохода. При этом будет множество исключений (достаточно вспомнить Билла Гейтса, который, формально, не имеет высшего образования), но это «не отменяет правило». Граница между «правилом» и «исключениями» весьма зыбкая; ее измеряют с помощью различных индикаторов, типа коэффициента детерминации D. Чем он ближе к единице — тем надежнее можно сказать, что образование, действительно, сильно определяет доход. А если он равен, например, 30%? Тогда ищут другие факторы. Допустим, можно измерить образование родителей и добавить в уравнение (это будет уже Х2). Уравнение улучшилось, детерминация стала 40%. Добавим еще мощный фактор, хотя его и трудно измерить — коэффициент интеллекта (Х3). Это мощный предсказатель успеха, детерминация после него стала 60%. Сорок процентов успеха так и осталось необъясненными. В конце концов, это может быть просто случайность — везет некоторым, попробуй это измерь.

В приведенном примере есть некоторые тонкости. Каким именно образом образование родителей влияет на доход детей? Например, это может быть через прямую помощь в трудоустройстве: юрист-отец точно может помочь своему сыну, тоже юристу, попасть в хорошую компанию. Это может быть путем прививки определенных навыков: образованные родители с большей вероятностью смогут воспитать в детях высокую трудовую этику, помогающую в получении хороших доходов. То есть когда мы говорим, что Х2 — это «фактор» дохода, мы подразумеваем, что это не непосредственная причина (ребенок не показывает диплом своего отца при поступлении на работу), а некое обстоятельство, которое способствует росту дохода, но мы не знаем точно, как именно, ибо не можем измерить все детали процесса.

Второе обстоятельство заключается в следующем. Образование родителей не только косвенно влияет на доход детей, но и самым прямым образом влияет на то, как именно дети получают образование: понятно, что образованные родители будут всячески стараться, чтобы и дети получили образование. Получается, что не только Х1 влияет на У, но и Х2 влияет на Х1, что приводит к ситуации «двойного учета»: мы не можем в чистом виде установить степень влияния Х2 на У без того, чтобы не добавить туда опосредованное влияние Х2 на У через Х1. Еще более очевидно сложное влияние интеллектуальности Х3: во-первых, она обладает доказанным генетическим происхождением (то есть интеллект родителей влияет на интеллект детей); во-вторых, она, конечно, влияет непосредственно на успех по жизни, то есть доход. Суммируя все это, получается граф связей:

Это резко усложняет всю картину. Наше исходное уравнение (X1, X2, X3 влияет на У), как видно, описывает только то, что лежит на поверхности — все три стрелки, ведущие к У, но совсем не касается внутренних связей иксов между собой. Без их понимания, однако, эффекты каждого из иксов будут заведомо определены неверно. И такая картина совершенно типична для любых социально-экономических явлений, исключений не бывает. Разработаны многочисленные методы калькуляции такого рода влияний, начало которым было положено более 100 лет тому назад замечательным ученым, одним из создателей популяционной генетики Сювалом Райтом (path analysis by Sewall Wright), но которые, тем не менее, до сих пор не привели к убедительному решению, отвечающему на все вопросы о причинности. Наиболее разработанная современная система анализа причинных связей [1] в принципе не может решить вопроса о том, как отличить подлинные причинные связи от случайных, порожденных коррелированными, но не влияющими на результат переменными (о чем ниже).

Если мы добавим в рассмотренную модель такую характеристику, как «пол», то может выясниться, что мужчины получают больше женщин. Значит ли это, что в стране существует «гендерное неравенство», и что женщинам недоплачивают именно из-за их пола о чем очень часто говорят (особенно феминистки) до сих пор? Конечно нет. Это лишь значит, что женщины в целом могут иметь более низкий уровень образования (скажем, их доля среди людей с мастерской степенью в США около 36%), предпочитают менее оплачиваемые работы (их намного меньше в хорошо оплачиваемом программировании, 23% и инженерных видах деятельности, а больше в гуманитарных областях) и т.д. То есть не пол как таковой приводит к более низким доходам, а другие факторы, с ним связанные, но в модели не учтенные. Но если добавить эту переменную, то вполне может оказаться, что именно она примет на себя определенную часть вариации дохода, то есть «поневоле» будет восприниматься как причинная. Переменные такого рода, которые выглядят как причинные, но таковыми не являются (или являются лишь частично), на русском языке даже не имеют общепринятого названия, а на английском называются confounding variables (запутывающие переменные). Они как бы стоят за кадром, имея причинную связь с У, но и влияя на какой-то из Х (в данном случае на Х1, поскольку интеллектуально мужчины и женщины не различаются). В разделе 2 приведен яркий реальный пример запутывающего влияния показателя «раса» на определение «причин дискриминации». Они играют огромную роль в статистическим моделировании, и бороться с ними чрезвычайно трудно. Убедительной теории на этот счет не существует, хотя есть всякие способы минимизации таких затуманивающих эффектов.

Один из самых ярких и постоянно встречающихся примеров таких переменных — это «время«, которое никакой причинной нагрузки само по себе не несет, но используется в огромном числе моделей (именно потому, что его очень легко измерить). Например, легко установить, что есть очень высокая корреляция между уровнем потребления стирального порошка и ростом числа бизонов в заповедниках за последние 50 лет. Но это не потому, что бизоны много стирают или порошок делают из бизонов, а все же по другим причинам. Подобные фиктивные связи породили знаменитую фразу «корреляция не есть причинность» (correlation is not causation).

Другая проблема любого статистического моделирования, помимо различных путающих и фиктивных переменных связана с тем, что практически никогда не удается набрать достаточное количество факторов, чтобы они описывали практически всю вариацию игрека, то есть чтобы детерминация была действительно 100%. В уравнениях физики, зная силу и массу, можно точно установить ускорение; зная сопротивление и напряжение — силу тока и т.д. Представим, что студент никогда не слышал про закон Ома, но имеет 20 наблюдений над одним и тем же материалом, в которых измерялась напряжение и сила тока. При некоторой сообразительности он может поделить в каждой точке первое на второе и убедиться, к своему изумлению, что дроби при любых значениях двух параметров равны друг другу (а именно, величине сопротивления). Но если он, даже не имея никакой сообразительности, уже прошел курс статистики, он может просто построить уравнение линейной регрессии напряжения от силы тока и получить некий коэффициент регрессии — это и будет величиной сопротивления, о которой студент, как мы предположили, и не знает. Получается, если в уравнении Напряжение = Сила тока х Сопротивление одна переменная (Сопротивление) неизвестна, то достаточно лишь двух других чтобы правильно восстановить параметры процесса. Чисто статистический прием, регрессия, сама по себе может указать на природу причинности (наличие сопротивления), правильно установив коэффициент перехода. Понятно, что существует большой соблазн использовать подобные волшебные приемы и в других ситуациях, где действуют совсем другие законы и где детерминация далека от единицы. Но тогда, к сожалению картина кардинально меняется.

Стоит только отступить от полной модели процесса, как коэффициенты модели искажаются самым неожиданным образом. Вот простой пример [2]. Если У — общая калорийность еды, то Х1-Х3 соответственно, калорийность белков, жиров и углеводов. Коэффициенты этих компонент давно посчитаны и равны 4, 9 и 4, то есть, если известно сколько тех или иных веществ в конкретной порции, легко посчитать ее полную калорийность, умножая эти коэффициенты на количество. Такая модель является, во-первых, причинной, так как именно эти ингредиенты порождают энергию на биологическом уровне (среди них нет никаких запутывающих переменных) и, во-вторых, полной, поскольку не существует других источников порождения энергии (скажем, вода никаких калорий не дает). В этом смысле уравнение регрессии будет, по сути, соответствовать, чему-то вроде закона Ома и давать идеальные значения коэффициентов.

Но что произойдет, если в модель будет включено только два источника или один? Конечно, детерминация, которая при трех компонентах равна 100%, сократится, но это и ожидаемо, раз какой-то источник убрали. Но сохранятся ли при этом правильные коэффициенты? Отнюдь нет. Если, скажем, в модели участвуют только углеводы и белки, их коэффициенты соответственно равны 4.6 и 11.1 (против правильного значения 4 для обеих переменных, при детерминации 46%). Если жиры и белки — 9.4 (против правильного значения 9) и 1.6 (детерминация 83%). Последний случай особенно важен: качество модели D довольно высокое, но коэффициент при белках резко искажен, более чем в два раза. Если же в модели всего один белок — оценка равна 8.8 (наоборот, в 2 с лишним раза выше), при детерминации 22%. При этом повсеместно используемые дополнительные характеристики «неслучайности» значений коэффициентов (так называемые p—values, главный индикатор «статистической значимости» модели или отдельного коэффициента — см. 5.6) почти везде в рассмотренном примере очень низкие, куда ниже принятой величины 5%, что «гарантирует» высокое качество коэффициентов, согласно общепринятой методологии.

Из этого простого примера, где к исходным данным нельзя придраться, отчетливо видна фундаментальная проблема статистического моделирования: когда модель неполна, то даже наличие качественных независимых переменных, даже сравнительно высокая детерминация не гарантируют правильной оценки коэффициентов — скорее гарантируют неправильную (ибо в процессе аппроксимации алгоритм стремится «компенсировать» отсутствие необходимых переменных искажением коэффициентов у тех иксов, которые есть в наличии). Но где же их взять, полные модели? Мне такие за многолетнюю практику не попадались ни разу. В огромном числе опубликованных моделей D не превышает 10-30-50%. Причем все эти дефекты имеют место в очень простой модели линейного типа, где иксы не влияют друг на друга и где нет «путающих переменных». А что будет, когда надо учитывать сложные графы типа приведенного выше?

 Резюмируя, можно сказать, что любые сколь-нибудь реалистичные модели, которые пытаются отследить причинные связи между множеством переменных и результатом, страдают почти непреодолимыми недостатками: плохой разделимостью прямых и фиктивных связей; наличием «путающих» переменных; неизбежным искажением коэффициентов (и, следовательно, силы связей) в случае неполных моделей; отсутствием каких-либо гарантий даже при наличии «статистической значимости» коэффициентов; резким падением качества если исходные данные измерены с ошибками (что происходит всегда — см. 5.5). Есть и другие проблемы, рассматриваемые в специальной литературе. Как следствие, правильное установление причинных связей между явлениями в социально-экономической области есть скорее исключение, чем правило, и требует огромных усилий в каждом конкретном случае.

5. Футуристическое. Контуры идеальной теории причинного анализа

Из всего изложенного следует, что надежные модели причинности, которые бы позволяли бы успешно отделять истинные причины от ложных и давать ясную картину процесс, отсутствуют — хоть на индивидуальном, хоть на массовом (статистическом) уровне. У меня нет, к сожалению, собственной теории, которая бы решила все поставленные вопросы. Но можно попытаться сформулировать какие-то требования, которым такая теория, если она будет когда-либо построена, должна отвечать. Я излагаю их здесь эскизно, ибо дальнейшее углубление привело бы к резкому расширению материала.

1. К вопросу об определении причинности. Если его и давать (в чем у меня нет уверенности), оно должно исходить того, что причиной любого изменения является воздействие определенных сил, которые могут иметь разную природу: физические, химические, психологические, социологические, экономические, военные и другие. Само понятие «сила» тоже требует своего определения, но я тут не буду в это вдаваться. Counterfactual reasoning (контрфактические рассуждения) не должны концептуально участвовать в понимании причин происходящего.
2. Такое представление требует, чтобы в модели действующие силы были непосредственно представлены; этот процесс можно назвать каузализацией. В разобранном выше примере с едой это выглядит так: можно в качестве переменных брать такие категории, как «салаты», «рыбные блюда», «мясные блюда» и т.д., а можно непосредственно белки, жиры и углеводы. В первом случае тоже будет получена какая-то модель зависимости калорий от типа еды, но она будет очень приближенной и некачественной. Во втором модель будет идеальной. Но такая каузализация требует очень важного условия: перед моделированием над уже понимать на глубинном уровне, что такое, собственно, процесс потребления калорий. Количественному моделированию должен предшествовать этап качественного понимания процесса, а уже затем — соответствующего измерения переменных.

Такой этап выглядит очевидным и элементарным, но сплошь и рядом в современных моделях он отсутствует или сводится к очень формальному поверхностному уровню. Например, oчень легко измеримая и очень обманчивая переменная «пол» (пациента, респондента и т.д.) используется, наверно, чуть ли ни везде в медицинских исследованиях и социологических опросах. Но эта переменная не есть непосредственная «манифестация силы» для большинства задач (то есть для большинства игреков), если они не связаны непосредственно с процессом биологического воспроизводства. Как выше было показано, для изучения дохода пол только маскирует неравномерное распределение людей по занятиям с разным уровнем оплаты труда. То есть если вместо пола в такую модель вставить целую серию переменных о роде занятий — результаты будут, безусловно, лучше. Такой процесс приближения к тому, что, собственно, и порождает результат, что на самом деле «влияет» и называется каузализацией. Еще ярче такое «не силовое» (то есть не причинное) использование свойственно для переменной «время«, о чем шла речь выше. Это можно наглядно проиллюстрировать картинкой.

На верхней панели показаны красивые пики и долины, образованные игрушкой «движущиеся пески» (moving sands). Внизу — то же самое, но после обрушения верха (по истечении некоторого времени). Все пики и провалы засыпаны, контуры былой красоты можно, в принципе, разглядеть, но если судить только по поверхности — то уже почти ничто не напоминает изящную исходную конструкцию. Выпуклости конечной стабильной картинки очень слабо коррелируют с исходными формами; разница между тем, что легко измеримо (буквально «лежит на поверхности») и тем, что было на самом деле, очень велика. Геологи буквально занимаются именно реконструкцией залегающих пород. Подобное же надо делать и в других областях.

Эта картинка интересна и в другом аспекте. Верхняя панель позволяет ясно установить причины генерации образов — просыпание песка из нескольких мест в течение достаточно долгого времени (две струйки отчетливо видны). После генерации (причинной фазы) наступает хаотическая фаза — обрушение всего верхнего массива. Именно тогда границы между пиками стираются и до причин приходится докапываться с большим трудом. Эти два этапа — причинный и хаотический — все время сочетаются в реальной жизни, что и делает, в частности, анализ причин столь трудным занятием.

3. Альтернативой качественной каузализации является алгоритмическая, которая просто по собранным данным четко отделялa бы истинно причинные переменные от фиктивных (просто коррелированных с У) и от «запутывающих», о которых шла речь выше. Это была бы мечта любого статистика, некий золотой Грааль. Но он не найден. Один из ключевых механизмов анализа причинности в [1], так называемые do-operators («операторы делания») вроде бы предназначены именно для решения этой задачи («Используя do—operatirs и графическую хирургию, мы можем начать отделять причинно-следственные связи от коррелятивных» — см. [2]), но на самом деле они ее не решают. Они сводятся, как подробно показано в [2], к индексному анализу, который применяется в экономике уже почти 200 лет и ориентирован не на причинные, а на совсем другие задачи. Есть определенный прогресс в задаче нахождения направленности связи в паре коррелированных переменных (можно с определенными усилиями сказать, что высота над уровнем моря приводит к понижению атмосферного давления, а не наоборот), но и эти критерии работают не всегда и не для сложных многомерных ситуациях. Есть более тонкие приемы, типа инструментальных переменных, но к ним тоже множество претензий, к тому же они далеко не универсальны.
4. Если все переменные «каузализированы» тем или иным образом, то есть характеризуют некоторые действительно причинные, а не лишь корреляционные связи, тогда можно составлять диаграммы влияний по типу приведенной выше (так называемые ациклические графы, DAG) и применять разработанную методику [1] и более поздних исследований для их анализа. Однако, существующие подходы оставляют без внимания нeкоторые очень важные обстоятельства (5 и 6).
5. Любые переменные измерены с какими-то ошибками, которых избежать нельзя. Однако львиная доля теории статистики и, в частности, теории причинности, исходит из предположения, что ошибок нет. Конечно, существуют многочисленные специальные работы, исследующие модели с ошибками измерения в переменных, но они не инкорпорированы в общие модели причинности, да и вообще в статистическую культуру. Подавляющее большинство прикладных исследований игнорирует эту проблему целиком. Но ошибки измерения могут быть очень значительны. На верхней панели картинки светлое пятно — просто отблеск стекла при фотосъемке, но такая «ошибка» самого измерительного прибора может серьезно исказить данные, если принять ее за «реальность» (наподобие примера с приспособляемостью исследователя вместо мышей у И. Павлова в разделе 2).

С позиций статистического моделирования это представляет большую проблему. Как правило, в любой модели существует так называемый «вектор ошибок» — случайная величина, отражающая уровень несоответствия модели наблюдаемым данным. В минимизации несоответствия, собственно, и заключается моделирование — знаменитый метод наименьших квадратов делает именно эту работу. Но когда к этой случайности добавляются ошибки измерения и в иксах, и в игреке — все резко запутывается. Вполне может оказаться что регрессия отражает не столько » правильные неучтенные остатки», сколько именно ошибки измерения. Можно ли разделить эти два источника неопределенности? В работе А. Кукуша с моим участием [21] именно это и делается — оказывается, можно (по крайней мере в простом случае линейной регрессии). Это важный результат, ибо он приближает моделирование к реальности: например, если известно, что ошибки измерения большие, то как ни старайся, ничего хорошего не получишь. Но эта задача далека от полного решения.

6. В статистике господствует теория так называемого статистического оценивания (statistical inference) когда любые индикаторы рассматриваются не сами по себе, а через призму их случайности или неслучайности. Недостаточно, например, сказать, что средняя зарплата рабочих ниже средней зарплаты программистов — надо еще убедиться что эта разница «статистически значима». Эта практика существует более ста лет, начиная с революционных работ В. Госсета («Стьюдента») и Р. Фишера, и стала неотъемлемым элементом научной жизни. Если какие-то результаты «незначимы» — о них незачем и говорить, и их, как правило, и не публикуют (так называемый publication bias). Однако в этой устоявшейся науке произошли революционные изменения. Ценность различных индикаторов значимости (в первую очередь знаменитых p-values) подверглась переоценке — к результатам стали предъявлять более серьезные требования, нежели привычные «все хорошо, если p—value < 0.05«. После официальной публикации Американской Статистической Ассоциации о широко распространенной практики неверной интерпретации [23] появилась целая волна соответствующих публикаций в поддержку такого рода критики (один журнал даже отказался вообще принимать статьи, где p-values приводятся как аргумент; появился термин «p-value hacking», то есть «выжимание» из данных нужных значений и т.д.). Однако, по моему личному опыту рецензента статей в статистических журналах, особого уменьшения использования этих индикаторов не заметно — уж слишком все просто и удобно. Характеристики значимости выступают в роли наличной монеты в научном сообществе — без них сделка (публикация, признание) не может состоятся.

Даже если оставить в стороне вопрос о том, что p-value сплошь и рядом интерпретируются не вполне корректно, главная проблема заключается в следующем: носит ли информация, в них содержащаяся, причинный характер? Иными словами: зачем вообще нужна какая-то особая теория причинности типа развиваемой в [1], когда уже давно есть теория статистического вывода (statistical inference)? Как ни странно, ясный ответ на этот очевидный вопрос в литературе отсутствует. Он, фактически, обходится стороной. Подразумевается, что раз в уравнении все хорошо с позиции значимости коэффициентов — то это и есть «причинный ответ», а иначе зачем вообще городить огород? Никогда не видел фразы типа такой: вот, все коэффициенты значимы — но стоп, это еще не означают, что уравнение носит причинный характер. Но не видел и обратного, чтобы говорили «причины надежно установлены». Обычно, когда публикуются статьи, сам факт значимости молчаливо подразумевает причинность. Справедливо было замечено в [24], что люди инстинктивно присваивают статистически значимым коэффициентам причинную интерпретацию, просто в силу того, что они всему ее присваивают, о чем шла речь в разделе 2 при рассмотрении вопроса об атрибуции; этa тема попадает в какую-то серую область статистики. Я не буду здесь глубоко в нее погружаться, конечно, ибо это сложный вопрос. Но твердо ясно одно: сплошь и рядом значимые коэффициенты совершенно точно неверны — вспомните пример с едой, где, несмотря на огромные отклонения от истинных значений, p-values очень маленькие. Резюмируя, можно сказать, что одна из проблем будущей теории причинности — найти баланс между двумя методами умозаключений.

7. Статистические модели, причинные или нет, имеют математически идентичную структуру — обычно это набор уравнений регрессионного типа, коэффициенты в которых требуется оценить. Уравнение будут выглядеть одинаково для экономики, социологии, биологии и так далее. Однако когда в действие вступают факторы, непосредственно связанные с людьми, характер уравнений должен, мне кажется, как-то меняться.

То, о чем я сейчас пишу — это не более чем гипотеза человеческой индивидуальной неопределенности, и у меня нет эмпирического основания ее подтверждения. Смысл таков: поскольку человек имеет свободу воли, любые измерения связанные с ним (социологические или психологические опросы, например) должны отражать этот факт каким-то образом. А именно — поведение человека до конца не измеримо, не может быть сведено к простой характеристике. Вспомним об огромной роли иррациональности в принятии решений (раздел 2) или о полнейшем произволе, при полной правдоподобности и красивости в гуманитарных исследованиях (раздел 3). Возможно, существует некий аналог принципа неопределённости Гейзенберга для элементарных частиц применительно к человеку как к носителю индивидуальной воли. В физике это выглядит как неравенство, в котором произведение двух стандартных отклонений (позиции и момента движения) не меньше определенной величины, связанной с константой Планка. Соответственно, чем точнее измеряется одно, тем менее точно измеряется другое. В измерении индивидуальных человеческих характеристик, возможно, метафорическим аналогом подобной неопределённости могло бы выступить такое соотношение: произведение вариабельности индивидуального мнения на величину, обратную к вариабельности усредненного мнения группы, к которой человек принадлежит, является константой.

Если, например, мы задаем вопрос об отношении россиянина к войне в Украине, внутренняя вариабельность его ответа будет мала, ибо большинство людей (группа, к которой он принадлежит) войну поддерживает. Если тот же вопрос задать человеку выехавшему за пределы России — вариабельность будет намного выше, так как среди его окружения вариабельность сильно возросла. Это означает, что доверять мнению человека без учета мнения его группы нельзя; в модели надо вводить поправки на подобную неопределенность. «Вариабельность» индивидуального мнения (или действия) — вещь, скорее всего, неизмеримая непосредственно: человек ответил, и все, у нас есть только одно число. Она может быть связана с анализом некоего воображаемого ансамбля ментальных состояний, самого по себе тоже неизмеримого, но подлежащему некоей аналитике — нечто подобное тому, что было предложено в концепции медиафизики (mediaphysics) в [22].

Надо подчеркнуть, что это не имеет ничего общего с проблемой ошибок измерения (как и принцип неопределенности в квантовой механики не имеет ничего общего с вмешательством наблюдателя в наблюдаемый процесс, хотя эти две вещи часто путают). Это особый вид неопределенности, связанный, с одной стороны, со свободой воли человека, а с другой — с ограничением этой свободы за счет неизбежных социальных связей. Как депутат в конгрессе почти никогда не может выступить против воли партии (его вариабельность минимальна), так и свободный художник может нести любую околесицу, меняя ее каждый день: он принадлежит к «богеме», где все позволено, вариабельность группы велика, обратная к ней величина мала, его вариабельность, следовательно, тоже велика. Ясно, что подобных принадлежностей может быть очень много — человек многолик. Важно отметить, что вариабельность в группе — вещь достаточно легко измеримая, и через нее можно оценить вариабельность индивидуума (вещь неизмеримую), если гипотеза неопределенности верна. Оценивая, в дополнении к этому, уровень принадлежности данного человека к группе, можно получить индивидуальные оценки, различающееся от человека к человеку. Теперь осталось проверить на фактах, верна или нет гипотеза и как именно ее инкорпорировать в будущую теорию причинности…

8. Другая нерешенная в настоящее время задача заключается в следующем. Как уже было сказано, в любой модели предполагают некий «зазор» между тем, что объяснено моделью, и тем, какой игрек наблюдается в реальности. Его стараются минимизировать, но как отмечалось, уровень детерминации D в моделях, как правило, очень невелик (10-30%) либо вообще не приводится (может быть, именно потому, что невысок). Публикуются самые разные изысканные статистики (включая, конечно, те же p-values), типа коэффициентов связанных с maximal likelihood, энтропией и т.д., которые тоже что-то говорят о качестве модели — но не D. Проблема с такими статистиками в том, что они позволяют мерить только относительное качество модели (сказать, лучше ли одна модель другой), но не абсолютный уровень приближения, как делает D. В результате трудно или невозможно понять, насколько вообще опубликованные модели хорошо описывают реальность. И тут возникают следующие проблемы.

Если в модели низкий D — ее коэффициенты заведомо искажены: вспомните цифры в примере с едой, когда неполные модели всегда давали большие искажения. Но ведь неполнота модели — вещь совершенно типичная; полная качественная модель с D близким к 1 — вещь скорее уникальная. Почему же публикуют неполные модели? Это отсылает нас к практике, рассмотренной выше в 5.6 — у них хорошие p-values и другие индикаторы, то есть они «что-то» показывают. Но это «что-то» неверно! Ну, такое не обсуждается… Это порождает дилемму.

Выход первый: строить только полные модели с очень высоким D, в котором, тем не менее, учтены корректировки связанные с ошибками измерения (5.5) и (потенциально) с принципом неопределенности (5.7).

Выход второй: научиться так оценивать коэффициенты неполной модели, что они остаются правильными независимо от дальнейшего расширения модели до полного состояния. Это как если бы в сокращенной модели еды (детерминация 46%), где участвуют только углеводы и белки, их коэффициенты получили бы правильное значение 4 и 4, а не 4.6 и 11,1, как оно реально выходит. Тогда построение модели напоминало бы строительство дома: поставили фундамент, подождали бы подвоза кирпича (новых переменных) — поставили бы стены, не меняя фундамент и т.д. Увы, таких способов моделирования не существует и, думаю, не будет существовать никогда.

Остается первый выход: если мы хотим строить качественные причинные модели, они должны описывать вариацию игрека максимально полно, то есть мы должны дать полную причинную картину процесса. Это выглядит запредельно жестко и наивно (кто сможет такое сделать?) — но, с другой стороны, только такие требования в состоянии приблизить мягкие науки к твердым. Альтернатива: строить неполные модели, понимая, что они не прости неполные (это-то все и так понимают), но и неверные (а с этим людям трудно согласиться).

Ситуация в статистике может быть уподоблена примерно такой в физике: как если бы в законе Ома говорилось, что ток пропорционален напряжению, но ни слова не было бы сказано о сопротивлении. Или в технике: автомобиль — телега с двигателем (ни слова о коробке передач). Именно так и выглядят современные модели: причинный механизм не познан до конца, и это стало нормой научного дискурса.

На поставленный в знаменитой статье Джона Иоаннидиса [25] вопрос «Почему большинство опубликованных научных результатов неверны» можно ответить, даже не прибегая к услугам теории Байеса, на которую он опирался, так: потому что исследователи строят далекие от полноты модели. В огромной мере в этом, скорее всего, лежит причина кризиса воспроизводимости в науке, который признаётся подавляющим большинством опрошенных ученых [26].

9. Особый интерес изучение природы причинности приобретает в связи с развитием лингвистических моделей искусственного интеллекта в последнее время. Неожиданная для всех способность компьютера отвечать на любые поставленные вопросы после появления ChatGPT в ноябре 2022 года поставила в тупик огромное число исследователей, не ожидающих ничего подобного после многих лет невыполненных со стороны ученых обещаний насчет «умной машины». Фактически, компьютер прошел знаменитый тест Тьюринга — его ответы очень трудно отличить от ответов информированного человека, и в этом отношении «машина мыслит«, что бы под этим ни понимать. Но мыслит в высшей степени своеобразно. Я приведу укороченный пример моего разговора с Bard (Google) чтобы пояснить, что я имею в виду (мой текст вылелен).Существует ли оценка того, какая доля СО2 в атмосфере имеет антропогенную природу по сравнению с природной?

Да. По оценкам Межправительственной группы экспертов по изменению климата (МГЭИК) ООН, деятельность человека является причиной примерно 50% увеличения содержания CO2 в атмосфере с доиндустриальной эпохи…Вот таблица из Пятого оценочного доклада МГЭИК, в которой показаны оценочные источники выбросов CO2 с 1850 по 2010 год:

Источник выбросов (ГтУ)

Ископаемое топливо 215

Изменение землепользования 135

Природные источники 127

Как видите, предполагаемые выбросы от ископаемого топлива и изменения землепользования намного выше, чем предполагаемые выбросы от естественных источников. Это говорит о том, что деятельность человека является основным фактором увеличения содержания СО2 в атмосфере.

Но из этой таблицы следует, что человеческая часть намного больше 50%, это около 74%. Это верно?

Вы правы. Приведенная таблица показывает, что деятельность человека является причиной около 74% увеличения содержания CO2 в атмосфере с 1850 года… Оценка МГЭИК в 50% основана на общем количестве CO2 в атмосфере, включая как естественные, так и антропогенные источники. Итак, если вы добавите расчетные выбросы из природных источников к расчетным выбросам от деятельности человека, вы получите в общей сложности около 142 ГтУ. Это означает, что деятельность человека ответственна примерно за 74% увеличения содержания CO2 в атмосфере, как показано в таблице.

«Если к расчетным выбросам от деятельности человека прибавить расчетные выбросы от природных источников, то получится в сумме около 142 », — сказали вы. А на самом деле 477 (215+135+127=477)

Вы правы. Прошу прощения за ошибку в предыдущем ответе. Если вы добавите оценочные выбросы из природных источников к оценочным выбросам от деятельности человека, вы получите в общей сложности около 477 ГтУ. Это означает, что деятельность человека составляет около 53% от общего количества CO2 в атмосфере.

Я не уверен, что понял ваш расчет. 53% из 477 — это 253, что не соответствует ни одной цифре в вашей таблице.

Вы правы. 53% от 477 — это 253, что не соответствует ни одной цифре в таблице. Это связано с тем, что в таблице показаны только предполагаемые выбросы от ископаемого топлива и изменений в землепользовании, которые являются двумя основными источниками антропогенных выбросов CO2. Однако цифра 53% включает все антропогенные источники выбросов CO2, в том числе в сельском хозяйстве, вырубке лесов и промышленных процессах. Предоставленная таблица не включает оценки этих других источников антропогенных выбросов CO2. Таким образом, если вы хотите получить точную оценку общего количества CO2 в атмосфере из антропогенных источников, вам необходимо добавить расчетные выбросы из этих других источников к расчетным выбросам от ископаемого топлива и изменений в землепользовании. Прошу прощения за путаницу.

Но 253 меньше суммы 215 и 135, а не выше. Если добавить еще что-то, то будет намного больше 53%.

Вы правы. 253 меньше, чем сумма 215 и 135, которая равна 350. Это означает, что цифра 53%, о которой я говорил, неверна. Прошу прощения за ошибку. Правильный расчет таков:

(215 + 135 + другие источники) * 0,53 = общий антропогенный CO2

Мы не знаем точного количества выбросов CO2 из других источников, поэтому мы не можем рассчитать общее количество антропогенного CO2. В будущем постараюсь быть осторожнее в своих расчетах. Спасибо, что указали на ошибку.

____________________

На заключении что «мы не можем рассчитать общее количество антропогенного CO2» я свой разговор прервал. За короткое время оценки Bard изменялись пять раз, и пять раз он признавал свою ошибку: уверенность, что ответ есть; оценка (неверная), что цифра равна примерно 50%; согласие с цифрой 74%; неверная цифра 53%; уверенность, что ответа нет. При этом — очевидная неспособность делать простейшие арифметические операции, исходя даже из собственных цифр. Все сопровождается извинениями и обещаниями исправится. Я сильно сомневаюсь, что исправление произойдет, по следующим причинам.

В основе LLM (Large Linguistic Lodels), обеспечивающих Bard и ChatGPT, лежат две основные вещи: колоссальной размерности (более двухсот миллиардов узлов) нейронные сети, обученные на огромном материале, и специальный алгоритм поиска следующего слова, в котором ключевую роль играет так называемый трансформер, позволяющий быстро определять самое главное в вопросе и отыскать соответствующее место в сети. Если первая часть, нейронная обучающаяся сеть, концептуально (но не технически) находится в научном обиходе с 1940-50 годов, то вторая — абсолютно новое изобретение, восходящее к ключевой статье 2017 года [27], в которой найден ключевой механизм поиска, позволяющий революционизировать «науку автоматического ответа».

Нейронные сети очень долгое время были на периферии машинного обучения в том смысле, что они не давали каких-то результатов, превосходящих другие методы распознавания образов (типа дискриминантного анализа, древовидных алгоритмов и т.д.), но обладали одним фундаментальным недостатком. Если прочие методы позволяли как-то интерпретировать результат на качественном уровне (хотя бы сказать, что такие-то признаки наиболее важны для отличения собак от кошек), то сетевые методы не в состоянии обеспечить такое понимание. В них происходит перенастройка различных коэффициентов при переменных таким образом, что поставить вопрос «почему» и получить ответ на него практически невозможно. В этом смысле они «анти — причинные» по своей природе.

А трансформер тем более далек от ответа на причинные вопросы, это исключительно лингвистический механизм. Комбинация таких двух подходов явно не сориентирована на глубокое копание в данных. Вышеприведенный пример показывает это с высокой убедительностью: даже после наводящих вопросов Bard «не включает логику» (как сделал бы любой человек), просто потому что ее там нет, а продолжает играть в лингвистические игры. Я допускаю, что возможно какое-то новое развитие, в котором система АИ будет от лингвистики переключаться на нечто другое (например, на экспертные системы в данной области знаний или на какие-то алгоритмы анализа сложных «продукций», то есть цепи логических высказываний, или на специализированные логические сети типа описанных в [33]), но как это совместить с тем, что есть сейчас — это огромной сложности проблема, насколько я могу судить. Однако, надеюсь, исследования будут идти именно в эту сторону. Например, Майкрософт, главный инвестор в OpenAI (создатель ChatGPT), заявляет, что он «работает над фундаментальными проблемами, сочетающими традиционное машинное обучение с методами причинно-следственного вывода«. Меня, правда, смущает такое: «эти методы обещают устойчивость к экзогенным изменениям и точное моделирование counterfactuals…«. Похоже, что более чем сомнительная логика анализа последствий того, чего не было, продолжает быть доминирующей не только у ученых, но и у разработчиков наиболее продвинутых систем АИ. Сомнительно, что это приведет к чему-то хорошему.

«Много факторов в степи» — загадочно обмолвился как-то Андрей Платонов. «Слишком много» — можем мы утвердительно повторить за ним. Но уж лучше твердо идти к истинному незнанию (эпиграф), чем оставаться в комфортной зоне ложного знания.

Литература

1. J. Pearl.Causality, New York City: Cambridge University Press, 2009 
2. I. Mandel. Troublesome Dependency Modeling: Causality, Inference, Statistical Learning 2017

3. Imbens, W.; .Causal Inference for Statistics, Social, and Biomedical Sciences: An Introduction. Cambridge University Press, 2015
4. I. Mandel, S.Lipovetsky. Propensity Scores — Do They Really Work? Simulation Study,2022

5. J. Riley. The Trouble With Reparations for Redlining, WSJ, June 27, 2023
6. J. Wang, K. Zhao, D. Deng, A.Cao, X. Xie, Z.Zhou, H. Zhang, and Y. Wu. Tac-Simur: Tactic-based Simulative Visual Analytics of Table Tennis, IEEE, 2019
7. L. Safronova, B. Baizhigit, E. Shmakova. The functionality of dream reality in an emigrant text. In Przegląd Wschodnioeuropejski (East European Review), X/1, 2023
8. Липкович, И., Липовецкий, С., Мандель, И. Морфей и Орфей. И сном и духом: сновидения очевидцев и комментарии стихотворцев. New York, 2018 (фрагменты опубликованы здесь: «И сном и духом«)
9. М. Голубовский. В. Александров: от тайн клетки к мудрости жизни. Знание-Сила, 2,2002
10. И. Мандель. Эффективность провокации. Шоу Саши Барона Коэна “Who is America?” в контексте «науки обиженных»: статистический и аполитический анализ, 2019

11. B. Reed. California faces backlash as it weighs historic reparations for Black residents. The Guardian, July 11, 2023

12. С. Резник. Эта короткая жизнь:Николай Вавилов и его время. M., Захаров, 2017
13. D. Wise. The Politics of Lying: Government Deception, Secrecy, and Power, 1973
14. E. Brodow. In Lies We Trust: How Politicians and the Media Are Deceiving the American, 2016
15. И. Мандель. Наука статистики в культуре виктимности: достоинство и бесчестье, 2021
16. М. Эпштейн. Русский антимир. Политика на грани апокалипсиса, Lulu.com, 2023
17. K. Kustanovich. Russian and American Cultures: Two Worlds a World Apart. Lexington Books, 2018
18. A. Bochman. A Logical Theory of Causality, MIT Press, 2021
19. D. Lewis, Counterfactuals. Harvard University Press, 1973
20. J. Halpern. A Modification of the Halpern-Pearl Definition of Causality. Cornell University, 2015
21. A. Kukush, I. Mandel. Does Regression Approximate the Influence of the Covariates or Just Measurement Errors? A Model Validity Test. Cornell University, 2019, https://arxiv.org/abs/1911.07556
22. D. Kuznetsov, I. Mandel. Statistical physics of media processes: Mediaphysics. Physica A: Statistical Mechanics and its Applications, V. 377, Issue 1, 1, 2007
23. Wasserstein RL, Lazar NA. The ASA statement on p-values: context, process, and purpose. Am Stat 70, 2016
24. H. Yazici. The P-value crisis and the issue of causality. Rheumatology, V. 59, Issue 7, 2020 
25. J. Ioannidis. Why Most Published Research Findings Are False PLoS Med.2005; 2(8)
26. Baker, M. 1,500 scientists lift the lid on reproducibility. Nature 533, 452–454 (2016). https://doi.org/10.1038/533452a
27. A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A.Gomez, L.Kaiser, I.Polosukhin. Attention Is All You Need, arXiv:1706.03762, 2017
28. L. Chen, M. Zaharia, J. Zou. How Is ChatGPT’s Behavior Changing over Time? https://arxiv.org/pdf/2307.09009.pdf
29. D. Ariely. Predictably Irrational. The Hidden Forces That Shape Our Decisions. Harper Perennial, 2010
30. И. Мандель, С. Липовецкий. Политизированная наука: отчетМГЭИКООН 2021 об изменении климата, 2022, https://7i.7iskusstv.com/y2022/nomer4/mandel/#comment-96020

31 G. Lewy. The Armenian massacres in Ottoman Turkey: a disputed genocide, University of Utah Press: Salt Lake City, 2005

32. И. Мандель Летописец своей души. Мысли и краски Самуила Бака, 2017
33. I. Drori, et al. A Neural Network Solves, Explains, and Generates University Math Problems by Program Synthesis and Few-Shot Learning at Human Level, 2022, https://arxiv.org/abs/2112.15594